中文字幕无码乱码人妻系列蜜桃|一二三四在线观看视频韩国|一区二区三区国产美女在线播放|欧洲熟妇色xxxx欧美老妇多毛

聯(lián)
咨詢熱線:

17661095540

聯(lián)系QQ:

2863379292

官方微信:

齊寧:搜索引擎知識 網(wǎng)頁查重技術(shù)

全網(wǎng)營銷

導(dǎo)讀:對于搜索引擎來說,重復(fù)的網(wǎng)頁內(nèi)容是非常有害的。重復(fù)網(wǎng)頁的存在意味著這些網(wǎng)頁就要被搜索引擎多處理一次。更有害的是搜索引擎的索引制作中可能會(huì)在索引庫里索引兩份相同的網(wǎng)

發(fā)表日期:2019-03-23

文章編輯:興田科技

瀏覽次數(shù):13328

標(biāo)簽:

對于搜索引擎來說,重復(fù)的網(wǎng)頁內(nèi)容是非常有害的。重復(fù)網(wǎng)頁的存在意味著這些網(wǎng)頁就要被搜索引擎多處理一次。更有害的是搜索引擎的索引制作中可能會(huì)在索引庫里索引兩份相同的網(wǎng)頁。當(dāng)有人查詢時(shí),在搜索結(jié)果中就會(huì)出現(xiàn)重復(fù)的網(wǎng)頁鏈接。所以無論是從搜索體驗(yàn)還是系統(tǒng)效率檢索質(zhì)量來說這些重負(fù)網(wǎng)頁都是有害處的。

網(wǎng)頁查重技術(shù)起源于復(fù)制檢測技術(shù),即判斷一個(gè)文件內(nèi)容是否存在抄襲、復(fù)制另外一個(gè)或多個(gè)文件的技術(shù)。

1993年Arizona大學(xué)的Manber(Google現(xiàn)副總裁、工程師)推出了一個(gè)sif工具,尋找相似文件。1995年Stanford大學(xué)的Brin(Sergey Brin,Google創(chuàng)始人之一)和Garcia-Molina等人在“數(shù)字圖書觀”工程中首次提出文本復(fù)制檢測機(jī)制COpS(Copy protection System)系統(tǒng)與相應(yīng)算法[Sergey Brin et al 1995]。之后這種檢測重復(fù)技術(shù)被應(yīng)用到搜索引擎中,基本的核心技術(shù)既比較相似。

網(wǎng)頁和簡單的文檔不同,網(wǎng)頁的特殊屬性具有內(nèi)容和格式等標(biāo)記,因此在內(nèi)容和格式上的相同相似構(gòu)成了4種網(wǎng)頁相似的類型。

1、兩個(gè)頁面內(nèi)容格式完全相同。

2、兩個(gè)頁面內(nèi)容相同,但格式不同。

3、兩個(gè)頁面部分內(nèi)容相同并且格式相同。

4、兩個(gè)頁面部分重要相同但格式不同。

實(shí)現(xiàn)方法:

網(wǎng)頁查重,首先將網(wǎng)頁整理成為一個(gè)具有標(biāo)題和正文的文檔,來方便查重。所以網(wǎng)頁查重又叫“文檔查重”。“文檔查重”一般被分為三個(gè)步驟,一、特征抽取。二、相似度計(jì)算和評價(jià)。三、消重。

1.特征抽取

我們在判斷相似物的時(shí)候,一般是才能用不變的特征進(jìn)行對比,文件查重第一步也是進(jìn)行特征抽取。也就是將文檔內(nèi)容分解,由若干組成文檔的特征集合表示,這一步是為了方面后面的特征比較計(jì)算相似度。

特征抽取有很多方法,我們這里主要說兩種比較經(jīng)典的算法,“I-Match算法”、“Shingle算法”。

“I-Match算法”是不依賴于完全的信息分析,而是使用數(shù)據(jù)集合的統(tǒng)計(jì)特征來抽取文檔的主要特征,將非主要特征拋棄。

“Shingle算法”通過抽取多個(gè)特征詞匯,比較兩個(gè)特征集合的相似程度實(shí)現(xiàn)文檔查重。

2.相似度計(jì)算和評價(jià)

特征抽取完畢后,就需要進(jìn)行特征對比,因網(wǎng)頁查重第二步就是相似度計(jì)算和評價(jià)。

I-Match算法的特征只有一個(gè),當(dāng)輸入一篇文檔,根據(jù)詞匯的IDF值(逆文本頻率指數(shù),Inverse document frequency縮寫為IDF)過濾出一些關(guān)鍵特征,即一篇文章中特別高和特別低頻的詞匯往往不能反應(yīng)這篇文章的本質(zhì)。因此通過文檔中去掉高頻和低頻詞匯,并且計(jì)算出這篇文檔的唯一的Hash值(Hash簡單的說就是把數(shù)據(jù)值映射為地址。把數(shù)據(jù)值作為輸入,經(jīng)計(jì)算后即可得到地址值。),那些Hash值相同的文檔就是重復(fù)的。

Shingle算法是抽取多個(gè)特征進(jìn)行比較,所以處理起來比較復(fù)雜一些,比較的方法是完全一致的Shingle個(gè)數(shù)。然后除以兩個(gè)文檔的Shingle總數(shù)減去一致的Shingle個(gè)數(shù),這種方法計(jì)算出的數(shù)值為“Jaccard 系數(shù)”,它可以判斷集合的相似度。Jaccard 系數(shù)的計(jì)算方法集合的交集除以集合的并集。

3.消重

對于刪除重復(fù)內(nèi)容,搜索引擎考慮到眾多收錄因素,所以使用了最簡單的最實(shí)用的方法。先被爬蟲抓取的頁面同時(shí)很大程度也保證了優(yōu)先保留原創(chuàng)網(wǎng)頁。

網(wǎng)頁查重工作是系統(tǒng)中不可缺少的,刪除了重復(fù)的頁面,所以搜索引擎的其他環(huán)節(jié)也會(huì)減少很多不必要的麻煩,節(jié)省了索引存儲(chǔ)空間、減少了查詢成本、提高了pageRank計(jì)算效率。方便了搜索引擎用戶。

本文首發(fā) 齊寧網(wǎng)絡(luò)營銷策劃 www.qi-ning.com 轉(zhuǎn)載請注明作者信息。謝謝!

齊寧 MSN: i@qining.org

相關(guān)推薦

更多新聞

  • 6-27

    2020

    全網(wǎng)營銷 / 2020-06-27

    站點(diǎn)META標(biāo)簽常用寫法介紹

    META標(biāo)簽分兩大部分:HTTp標(biāo)題信息(HTTp-EQUIV)和頁面描述信息(NAME)。一、HTTp-EQUIVHTTp-EQUIV類似于HTTp的頭部協(xié)議,它回應(yīng)給瀏覽器一些有用的信息,以幫助正確和精確地顯示網(wǎng)

    View details

  • 8-24

    2023

    全網(wǎng)營銷 / 2023-08-24

    云南網(wǎng)站建設(shè)公司:從零開始創(chuàng)建您的在線存在

    云南網(wǎng)站建設(shè)公司可以幫助您將品牌傳播到更廣泛的受眾中。一個(gè)響應(yīng)式的網(wǎng)站將使您能夠在各種設(shè)備上展示您的品牌,包括移動(dòng)設(shè)備和平板電腦,使您的品牌消息更容易被人們注意到。

    View details

  • 8-24

    2023

    全網(wǎng)營銷 / 2023-08-24

    樂陵網(wǎng)站建設(shè)公司:為您打造優(yōu)質(zhì)網(wǎng)站的首選

    樂陵網(wǎng)站建設(shè)公司使用最新的搜索引擎優(yōu)化技術(shù),幫助您的網(wǎng)站在搜索結(jié)果中獲得更高的排名。我們的團(tuán)隊(duì)將針對關(guān)鍵詞研究,優(yōu)化網(wǎng)站結(jié)構(gòu)和內(nèi)容,以提高您的網(wǎng)站在搜索引擎中的可見性,吸引更多的有針對性的流量。

    View details

  • 9-16

    2019

    全網(wǎng)營銷 / 2019-09-16

    站長要做有用和穩(wěn)定的流量

    首先聲明,本人是新手,最近才開始做站,一些說得不對的地方請各位指正。我之前在互聯(lián)網(wǎng)摸爬滾打有4年左右的時(shí)間,從第一天接觸互聯(lián)網(wǎng)開始,就對互聯(lián)網(wǎng)有種特別的愛好,也對做站有了特

    View details

国产精品久久福利网站| 99国产精品久久久久久久日本竹| 国产免费无遮挡吸奶头视频| 精品免费av在线播放| 一本色综合网久久| 97国产精东麻豆人妻电影| 国产精品久久久久久亚洲毛片 | 免费人妻av无码专区| 久久精品天天中文字幕人妻| 欧美白人最猛性xxxxx| 初尝黑人嗷嗷叫中文字幕| 性一交一乱一伦| 国产亚洲精品拍拍拍拍拍| 麻豆aⅴ精品无码一区二区| 波多野结衣免费一区视频| 少妇高潮潮喷到猛进猛出小说 | 公和我做好爽添厨房| а√天堂 地址 在线| 与子敌伦刺激对白播放| 欧美俄罗斯40老熟妇| 免费的三片播放器| 免费无遮挡无码永久在线观看视频| 国产免国产免‘费| 亚洲欧洲日产国产 最新| 国产精品视频全国免费观看| 亚洲成a人片在线观看无码专区| 无套内谢孕妇毛片免费看| 免费少妇荡乳情欲视频| 人人做人人妻人人精| 97久久超碰国产精品2021| 麻豆av福利av久久av| 亚洲乱亚洲乱妇24p| 久久精品a亚洲国产v高清不卡| 国产极品美女到高潮| 日韩一欧美内射在线观看| 亚洲色欲久久久久综合网| 亚洲综合久久成人a片红豆| 波多野结衣av一区二区全免费观看| 被群cao的合不拢腿h纯肉视频| 撕开奶罩揉吮奶头视频| 尤物在线精品视频|